Decision-Oriented Recommendation Reranking: An Empirical Study of Jev
决策导向推荐重排：Jev 的实证研究
🧭 决策导向模型与 LLM 重排权衡 ★ 深度解读
Singapore Management University · Meta AI
在候选集大小为20-200的受控重排中，Jev效果与点式Qwen相当且延迟增长更缓，占据独特质量-延迟区间
📌 工作参考价值（4 点）
- 当重排任务本质是「从预定义候选集中做选择」时，可以尝试决策导向模型（直接输出候选概率分布）替代通用 LLM 的点式/列表式重排，在候选集增大时延迟增长更缓，适合对 latency 敏感但希望保留文本语义理解的场景。
- 评估重排器必须把候选集大小 K 作为核心维度：小 K 下 listwise Qwen 效果尚可，K≥100 时 NDCG@10 从 0.519 骤降到 0.065（Movies），结论不能跨 K 泛化；工程选型时应在目标 K 区间内实测质量-延迟曲线。
- 构造 hard negatives 时可用 retrieval 模型 SASRec 的 top-K 非目标项，而不是随机负样本，这样能更好隔离重排能力与检索失败，并让所有方法在同一批 behavioral plausible 候选上对比。
- 对比 hosted API 模型与本地 GPU 模型时，延迟必须统一口径为 observed serving latency（包含网络、重试、排队），否则会严重低估远程模型的真实耗时；业务上线前应同时记录 median 和 P25/P75 分布。